Der Wunsch, mathematische Gleichungen zahlenmäßig (auch näherungsweise) lösen zu können besteht keineswegs erst seit der Erfindung von Computern, sondern ist uralt. Die alten Griechen kannten bereits Probleme, die sie ca. näherungsweise lösen konnten wie die Berechnung von Flächen (Integration) oder der Kreiszahl π. In diesem Sinne kann Archimedes, der für beide Probleme Algorithmen lieferte, als der erste bedeutende Numeriker genannt werden.

Die Namen klassischer Verfahren zeigen deutlich, dass der algorithmische und approximative Zugang zu mathematischen Problemen stets wichtig war, um rein theoretische Aussagen fruchtbar nutzen zu können. Konzepte wie Konvergenzgeschwindigkeit oder Stabilität waren auch beim Rechnen per Hand sehr wichtig, so läßt beispielsweise hohe Konvergenzgeschwindigkeit darauf hoffen, schnell fertig zu werden. Und schon Gauß bemerkte, dass sich seine Rechenfehler beim Gaußschen Eliminationsverfahren ab und zu desaströs auf die Lösung auswirkten und sie so komplett unbrauchtbar machten. Er zog deswegen das Gauß-Seidel-Verfahren vor, wo man Fehler durch das Ausführen eines weiteren Iterationsschrittes leicht ausgleichen konnte.

Um das monotone Durchführen von Algorithmen zu erleichtern wurden in dem 19. Jahrhundert mechanische Rechenmaschinen entwickelt und schließlich in den 1930ern Computer. Der Zweite Weltkrieg beschleunigte die Entwicklung dramatisch und insbesondere John von Neumann trieb in dem Rahmen des Manhattan Projects sowohl mathematisch als auch technisch die Numerik voran. Die Zeit des kalten Krieges war vor allem von militärischen Anwendungen wie Wiedereintrittsproblemen geprägt, doch die Explosion der Rechnerleistung seit den 1980ern hat zivile Anwendungen in den Vordergrund treten lassen. Ferner hat sich der Bedarf nach schnellen Algorithmen mit dem Geschwindigkeitszuwachs entsprechend verstärkt. Für viele Probleme hat die Forschung dies leisten können und so hat sich die Geschwindigkeit der Algorithmen in den letzten 20 Jahren um etwa dieselbe Größenordnung verbessert wie die CPU-Leistungen. Heutzutage sind numerische Verfahren in jedem technischen oder wissenschaftlichen Bereich präsent und Alltagswerkzeug.

Ein Aspekt bei der Analyse der Algorithmen in der Numerik ist die Fehleranalyse. Bei einer numerischen Berechnung kommen verschiedene Typen von Fehlern zu dem Tragen: Beim Rechnen mit Computerzahlen treten unvermeidlich Fehler auf. Diese Fehler lassen sich zwar zu dem Beispiel durch eine Erhöhung der Stellenzahl verkleinern, aber nicht grundsätzlich verhindern, da die Stellenzahl endlich bleiben muss. Das numerische Verfahren ersetzt ferner das kontinuierliche mathematische Problem durch ein diskretes, also endliches Problem. Dabei tritt bereits der so genannte Diskretisierungsfehler auf.

Die Größe der Fehler hängt entscheidend von der so genannten Kondition des gestellten Problems ab. Hat ein Problem eine große Kondition, so hängt die Lösung des Problems empfindlich von den Anfangsdaten ab, was eine numerische Lösung erschwert. Man spricht von einem schlecht gestellten Problem.

Teilgebiete der Numerik sind unter anderem:

• Optimierung
• Approximation
• Numerische Lösung nichtlinearer Gleichungen
• Numerik von Differentialgleichungen
• Numerik von Integralgleichungen
• Numerische Lineare Algebra

Eine kommentierte Zusammenstellung von ausgewählten numerischen Verfahren ist hier: Liste numerischer Verfahren.

• Gerhard Opfer, Numerische Mathematik für Anfänger, 4. Auflage 2002, Vieweg Verlag
• Robert Plato, Numerische Mathematik kompakt, 2004, Vieweg Verlag, ISBN 3528031530